Продолжаем рассказывать об анонсах продуктов и технологий, представленных на конференции VMworld 2019, так как есть о чем еще говорить. Одним из главных анонсов для сервис-провайдеров на мероприятии стала доступность платформы VMware Cloud Foundation for Cloud Providers.

Напомним, что vCloud Foundation (VCF) - это комплексное программное решение, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия, которые желательно развертывать все вместе, но можно какие-то и опустить. Важно, что в рамках этой архитектуры полностью поддерживается взаимодействие всех компонентов друг с другом, поэтому для VCF есть список продуктов и их версий (и это могут быть не самые последние версии), который и составляет архитектуру VCF. Напомним, что о версии VCF 3.0 мы писали вот тут.

Представленная архитектура VCF для сервис-провайдеров (VCPP) позиционируется как главный продукт для построения выделенных облачных инфраструктур для крупных клиентов (Dedicated Private Clouds). Решение комбинирует в себе возможности платформ VMware Software-Defined (vSphere и прочие продукты) и решения для миграции в виртуальную среду HCX. Облачная платформа VCF поставляется в трех изданиях, в зависимости от изданий входящих в него продуктов (подробнее об этом тут):

VMware Cloud Foundation соединяет в себе портфолио SDDC (vSphere, NSX, vSAN), а также средства управления SDDC Manager, что позволяет создать валидированную архитектуру на стороне сервис-провайдера и обеспечить управление жизненным циклом всех компонентов, чтобы облачные провайдеры могли запускать апгрейд всей инфраструктуры в один клик.

Кстати, решение VCF можно потестировать вживую в рамках лабораторной работы Hands-on Lab.

Онбординг пользователей в облачную среду провайдеров VCPP помогает производить решение VMware HCX, которое обеспечивает процесс миграции физических ресурсов предприятия в облачную среду на базе виртуальных машин в облаке:

Надо сказать, что решение VCF может работать поверх гибридной инфраструктуры предприятия - просто в облаке сервис-провайдера появляется еще один объединяющий элемент. Для традиционных хостинг-провайдеров, которые предоставляют услуги Shared Hosting / Virtual Private Servers, решение VCF для VCPP позволит получить крупных заказчиков, при этом оно изначально заточено под выделенную инфраструктуру со множеством клиентов.

Для старта с решением VMware Cloud Foundation for Cloud Providers партнерам потребуется пройти специальное обучение в течение 1 недели.

Вторым важным анонсом стал выпуск архитектуры vCloud Foundation версии 3.8.1. Надо сказать, что этот релиз сфокусирован на инфраструктуре контейнеризованных приложений под управлением Kubernetes. Такая инфраструктура управляется совершенно иначе, по сравнению с традиционной платформой для виртуальных машин, поэтому целью было объединить рабочие процессы PKS (Pivotal Container Service) и VCF.

В этом релизе у VCF 3.8.1 появились следующие новые возможности:

• Автоматизация развертывания решения PKS - теперь можно автоматически разместить нагрузку VMware Enterprise PKS в домене рабочей нагрузки NSX-T.

Средства интеграции VCF и PKS построены таким образом, что администраторам облака не требуется никаких специальных знаний в области Kubernetes, чтобы управлять интегрированной инфраструктурой контейнеров и виртуальных машин. Подробнее об этом рассказано тут.

• Поддержка двухфакторной аутентификации - теперь она доступна для API на базе паролей в консоли SDDC Manager.
• Улучшенные возможности Phone Home - предоставляет возможность провайдеру организовать функции phone home для данных в SDDC Manager одним кликом.
• Обновленные списки версий ПО (Bill of materials, BOM) - включают в себя vSphere 6.7 Update 3, vSAN 6.7 U3, новые версии Horizon, NSX-T и vRealize.

• Улучшения безопасности и исправления ошибок.

Более подробно о новых возможностях VCF можно узнать из Release Notes.

Давно компания VMware не обновляла на VMware Labs решение VMware vSphere HTML5 Web Client, которое по-сути и есть vSphere Client, включаемый в дистрибутивы VMware vSphere как основное и (теперь уже) единственное средство для управления виртуальной инфраструктурой.

Напомним, что именно как Fling клиент vSphere Client обновлялся довольно давно (о версии 4.1 мы писали вот тут, потом была еще версия 4.2). И вот на днях был выпущен vSphere HTML5 Web Client версии 4.3.

Давайте посмотрим, что нового в клиенте vSphere Client:

• Возможность кастомизировать цвет в заголовке окна клиента, чтобы отличать серверы vCenter. Для задания конкретного цвета конкретному vCenter идите в Administration -> System Configuration и выберите сервер, для которого нужно изменить цвет.
• Пофикшены проблемы с заливкой OVF-шаблона в библиотеку Content Library.
• Были убраны функции vSphere Perspective Management, которые появились ранее в версии 4.2. Они позволяли администратору контролировать области интерфейса, которые могли видеть другие пользователи VMware vSphere. Демо этой технологии можно посмотреть тут. Но, похоже, либо эта функциональность не зашла, либо ее отозвали на доработку и пока исключили из состава клиента.

Также в версии vSphere Client 4.2 были добавлены следующие полезные возможности:

• Режим Code Capture может захватывать и записывать операции с объектами Content Libraries.
• Code Capture может генерировать сценарии на других языках, в частности Python и vRO (vRealize Orchestrator) Javascript.

Скачать vSphere HTML5 Web Client 4.3 можно по этой ссылке.

В рамках серии анонсов, представленных на прошедшей конференции VMworld 2019, компания VMware представила интересное средство, которое может оказаться полезным администраторам виртуальной инфраструктуры - vSphere Assessment Tool (vSAT).

Главное назначение этой утилиты - помочь ИТ-специалистам перед миграцией инфраструктуры VMware vSphere на новую версию: заранее понять потенциальные проблемы с виртуальными машинами после апгрейда и проанализировать общую готовность инфраструктуры к обновлению. Также можно выявить возможные трудности в плане поддержки аппаратного обеспечения, что очень важно, когда у вас либо очень старое, либо очень новое оборудование.

Утилита vSAT реализована двумя компонентами:

• Десктопный клиент, который связывается с сервером vCenter и организует передачу данных.
• Онлайн-портал vSphere Assessment Portal, обрабатывающий ваши данный и визуализующий результаты.

Для начала работы просто нажимаете Get Started на первой странице портала:

Десктопный клиент поддерживает ОС Windows, OS X и Linux. В клиенте вы просто добавляете сервер vCenter, который нужно проанализировать. Для этого либо потребуется использовать административный аккаунт, либо создать пользователя с кастомной ролью с привилегиями "Host Settings".

После того, как в вашей инфраструктуре завершен сбор данных, есть 2 способа отправить их в облако:

• Онлайн-отправка на vSphere Assessment portal с использованием vSAT passcode (чтобы его получить, можно использовать опцию клиента "Forgot Your vSAT passcode?").

Также Passcode можно получить из меню аккаунта на vSAT Portal:

• Офлайн-отправка путем скачивания данных в файл и их последующая загрузка на портал в ручном режиме:

Результатом анализа будет дэшборд, на котором представлена сводная информация по имеющимся проблемам для выбранного пути апгрейда. В левой панели можно выбрать нужный хост ESXi (по аналогии с vSphere Client).

В представлении Summary вы найдете список всех версий vSphere, на которые вы можете выполнить миграцию, а также узнать, какие хосты ESXi рискуют оказаться в неподдерживаемой конфигурации. При клике на хост ESXi возникает панель host details, где можно увидеть текущую версию vSphere, модель сервера, сетевые адаптеры и контроллеры хранилищ. Для каждого компонента верифицируется поддержка соответствующей версией vSphere.

В общем, очень полезная штука для админа перед обновлением vSphere на новую версию. Особенно полезно будет запустить ее в большой инфраструктуре, где присутствует различное оборудование и, возможно, разные версии хостов ESXi.

Пользуйтесь!

В рамках прошедшей конференции VMworld 2019 компания VMware сделала немало интересных анонсов. Для крупных компаний одним из главных анонсов стало, конечно же, объявление о выпуске мажорной версии продукта vRealize Automation 8. Напомним, что это средство позволяет автоматизировать большинство рутинных операций в облаке на базе VMware vSphere (то, что раньше делалось только с помощью Orchestrator). В прошлый раз мы писали о выпуске версии vRealize Automation 7.6 весной этого года.

Напомним, что решение vRealize Automation является онпремизным продуктом, но если вы хотите использовать его в облаке (например, VMware vCloud on AWS), то есть аналогичный SaaS-сервис, который называется VMware vRealize Automation Cloud (бывший Cloud Automation Services), который состоит из компонентов Cloud Assembly, Service Broker и Code Stream, которые есть и в онпремизном vRealize Automation.

vRealize Automation 8 теперь построен на базе популярной сейчас микросервисной архитектуре на базе контейнеров. Прошлая версия vRA была построена на базе виртуальных машин Windows Server (требовалось как минимум две ВМ), теперь же все реализовано на базе контейнеров внутри одной ВМ, что дает гибкость развертывания и простоту масштабирования.

Таким образом, процесс установки и конфигурации стал проще, мастера настройки дают возможность начать использование продукта уже через час после запуска. Установщик поставляется как ISO-файл и может быть развернут в Windows, Linux, or MacOS. Встроенный маркетплейс включает различные сэмплы ОС, приложений, блупринты и образы, чтобы быстро развернуть инфраструктуру vRA.

Помимо этого, вы сможете развернуть vRealize Lifecycle Manager, vRealize Automation и Workspace ONE Access (бывший VMware Identity Manager) в рамках единого процесса (либо можно использовать эти существующие компоненты, если они были установлены ранее, и подключить сервисы аутентификации).

Надо сказать, что теперь vRealize Automation 8 построен на базе нового HTML5-интерфейса на базе Clarity. Мощный API для развертывания и конфигурации расширяет возможности графического интерфейса. Существенно был доработан раздел блупринтов (Blueprints), где пользователь конструирует архитектуру будущей системы (ОС, приложения, сетевые ресурсы и т.п.).

Описательная часть блупринтов строится на базе языка разметки YAML, визуально можно также работать с блоками на рабочем поле. Блупринты поддерживают контроль версий и рабочий процесс Git. Более подробно об этом написано в статьях VMware Multi-cloud Management with vRealize Automation Cloud и  Introducing Blueprint Expressions in Cloud Assembly.

Также одно из нововведений vRealize 8 - это поддержка облачных платформ VMware Cloud on AWS, Amazon Web Services, Microsoft Azure и Google Cloud Platform. Для них можно создавать универсальные (не зависящие от конкретного облака) объекты Projects, Cloud Zones, Profiles и блупринты. Это дает большую гибкость в компаниях, которые используют гибридные облака, пользуясь услугами нескольких облачных провайдеров (подробнее тут).

vRealize Orchestrator, как главная часть vRealize Automation, теперь работает как сервис внутри виртуальной машины vRealize Automation VM и предоставляет полнуют интеграцию с Git, а работа происходит в HTML5-интерфейсе. Также в составе vRA появилась опция Action Based Extensibility (ABX), которая представляет собой альтернативу vRealize Orchestrator. С помощью ABX можно использовать сценарии Node.js или скрипты Python для обработки специфических триггеров. Более подробно про механизм ABX написано вот тут.

Окончательный релиз vRealize Automation 8 ожидается до 1 ноября этого года.

Перед самой конференцией VMworld 2019, которая прошла на прошлой неделе в Сан-Франциско, компания VMware анонсировала полезный сервис ports.vmware.com, где любой желающий может вывести порты и соединения по различным протоколам для следующих продуктов серверной линейки:

• vSphere
• vSAN
• NSX for vSphere
• vRealize Network Insight
• vRealize Operations Manager
• vRealize Automation

Выглядит это вот таким образом (кликабельно):

Как мы видим, в левой части можно выбрать один или несколько продуктов, для которых будут выведены все соединения с указанием портов и характера взаимодействий. Это позволит правильно настроить сетевые экраны, через которые происходит коммуникация между компонентами виртуальной инфраструктуры.

Результаты можно вывести в отдельный красивый PDF-документ, либо распечатать. Что удобно, в колонке version указана версия продукта, для которой эта информация актуальна.

Если раньше всю эту информацию приходилось вылавливать из статей базы знаний VMware, а также подглядывать в различные постеры, то теперь все очень удобно организовано на одном экране (и что важно с возможностью поиска по результатам). Также есть удобная функция - сортировка по колонкам, например, по номеру порта - когда хочется найти конкретный порт или диапазон.

В общем, пользуемся - ports.vmware.com.

Многие из вас следят за новостями и событиями конференции VMworld 2019, которая проходит в эти дни в Сан-Франциско. Одним из первых и важных анонсов конференции стало объявление о скором выпуске проекта VMware Tanzu. Те из вас, кто следит в последнее время за новыми релизами от VMware, знают, что компания выпускает очень много чего интересного для инфраструктуры контейнеризованных приложений Kubernetes.

Например, совсем недавно мы писали о новой подсистеме хранения для K8s - Cloud Native Storage (CNS), утилите для контроля и мониторинга состояния кластеров VMware Octant, а также средстве для управления инфраструктурой контейнеров приложений VMware Enterprise PKS 1.5 (Pivotal Container Service).

На данный момент свежепоявившееся семейство Tanzu представлено двумя продуктами:

• Project Pacific — набор средств для преобразования среды VMware vSphere в нативную платформу для кластеров Kubernetes (будет доступно в следующих релизах vSphere).
• VMware Tanzu Mission Control - единая операционная консоль для кластеров Kubernetes, которая позволит контролировать все аспекты жизненного цикла приложений.

Project Pacific

Project Pacific сейчас находится в статусе технологического превью. Это средство представляет собой набор инструментов, который позволяет преобразовать платформу vSphere в средство нативного исполнения приложений в среде Kubernetes.

Данный продукт будет решать следующие задачи:

• Использование vSphere для нативной среды Kubernetes
• Предоставление средств управления, сфокусированных на приложениях
• Возможность взаимодействия команд разработки и администрирования/оперирования

С помощью Pacific разработчики продолжат управлять приложениями посредством Kubernetes, но сами приложения за счет этого будут "комфортно себя чувствовать" на платформе ESXi. Администраторы же смогут выполнять рутинные задачи через средства управления VMware vCenter.

Так как подразумевается, что Kubernetes будет нативно работать в среде vSphere, то будет поддерживаться концепция пространств имен в рамках инфраструктуры vSphere. Пространства имен в K8s - это коллекции объектов (контейнеры, виртуальные машины, диски и т.п.).

На уровне пространств имен в среде K8s можно выполнять стандартные для vSphere операции, такие как контроль и выделение ресурсов, vMotion, шифрование, HA и снапшоты.

VMware Tanzu Mission Control

Tanzu MC дает менеджерам и администраторам датацентров средства для создания и развертывания новых приложений на платформе Kubernetes, а также дает управлять кластерами K8s из единой точки. Таким образом, команды разработки могут запросить нужные ресурсы, когда им требуется, и получить их самым быстрым и оптимальным образом.

Платформа Tanzu Mission Control полностью построена на базе универсального API, который могут использовать разработчики для оперирования кластерами Kubernetes через Cluster API. Это касается всех рабочих процессов (например, создание или обновление кластера), а также аутентификации и прочих вспомогательных сервисов.

Сама консоль - это SaaS-решение, которое объединяет объекты разной природы в облачной консоли (например, это могут быть компоненты платформы vSphere, объекты из публичных облаков, средства OpenShift или просто самопальные инсталляции собственной архитектуры). Также вы можете привязать кластер VMware Essential PKS к консоли Tanzu Mission Control и использовать средства автоматизации обслуживания жизненного цикла кластеров, либо можно открыть и использовать расширенные средства сервисов PKS-кластера.

Консоль Mission Control использует:

• Cluster API для управления жизненным циклом (Lifecycle Management)
• Velero для резервного копирования и восстановления
• Sonobuoy для контроля конфигураций
• Contour для контроля компонентов ingress

Также все кластеры и их объекты покрываются гибко настраиваемыми политиками. Их можно применять к кластерам и группам кластеров, разграничивая таким образом зоны ответственности между разработчиками.

Ну и одно из самых удобных для оператора - это федерация данных кластеров K8s из разных источников в единой консоли:

Более подробно о проекте Tanzu можно почитать в пресс-релизе VMware.

Пока мы готовим большие посты об анонсах проходящего в эти дни в Сан-Франциско VMworld 2019, расскажем о небольших обновлениях. На сайте проекта VMware Labs появился апдейт средства для управления инфраструктурой VMware vSphere с мобильного телефона - vSphere Mobile Client 1.3. Напомним, что о прошлой версии клиента Mobile Client 1.2 мы писали вот тут. Надо заметить, что обновляется он хорошими темпами.

Давайте посмотрим, что нового добавили в Mobile Client 1.3:

• Наконец-то появилось представление уровня хостов - Hosts View.
• Дэшборд vCenter теперь включает объекты с наибольшим числом сработавших алертов.
• Для iOS-клиента появилась функция сообщения о вылетах приложения (Crash reporting).
• Категории событий теперь видны в интерфейсе (что это - alarm, error или warning).
• Улучшена обработка получения имени сервера vCenter.

Скачать обновленный vSphere Mobile Client 1.3 можно по этим ссылкам:

• Android - до того, как устанавливать клиент, вам надо присоединиться к этой группе Google Groups, члены которой принимают участие в альфа-тестировании.
• iOS - до того, как ставить это приложение на айфон, нужно скачать приложение для тестировщиков Test Flight.

Чтобы получать пуш-уведомления на ваши устройства, нужно будет поднять vSphere Mobile Client Notification Service в виде контейнера Docker. О том, как это сделать написано тут, а скачать сам контейнер можно на странице vSphere Mobile Client.

Как вы знаете, недавно обновленная платформа виртуализации VMware vSphere 6.7 Update 3 стала доступной для загрузки. Одновременно с этим компания VMware сделала доступной для скачивания и развертывания систему отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. В обоих этих решениях появилась встроенная поддержка технологии Cloud Native Storage (CNS), о которой мы сегодня расскажем.

Итак, Cloud Native Storage (CNS) - это функциональность VMware vSphere и платформы оркестрации Kubernetes (K8s), которая позволяет по запросу развертывать и обслуживать хранилища для виртуальных машин, содержащих внутри себя контейнеры. По-сути, это платформа для управления жизненным циклом хранения для контейнеризованных приложений.

При этом для такого управления сделано специальное представление в интерфейсе vCenter, которое вы видите на картинке выше.

Основная задача CNS - это обеспечивать развертывание, мониторинг и управление хранилищами для Cloud Native Applications (CNA), то есть современных приложений, исполняемых в контейнерах Docker под управлением Kubernetes (но, кстати, в будущем возможна поддержка и таких платформ, как Mesos и Docker Swarm).

Архитектура CNS реализована двумя компонентами:

• Интерфейс Container Storage Interface (CSI), представляющий собой плагин для K8s.
• Консоль управления CNS Control Plane на сервере vCenter, доступная через vSphere Client.

Через консоль управления CNS администратор может получить представление об имеющихся хранилищах в среде K8s (и видеть маппинги хранилищ на виртуальные диски VMDK), а также управлять ими в большом масштабе, что очень сложно при оперировании на уровне отдельных контейнеров, так как их могут быть сотни на одном хосте ESXi.

Кстати, про оперирование CNS есть интересное видео от VMware:

Надо понимать, что технология CNS появилась не впервые. Ранее подобные функции реализовывал механизм vSphere Storage for Kubernetes (он же vSphere Cloud Provider, VCP). Проект VCP появился как результат внутреннего хакатона VMware, когда требовалось быстро сделать драйвер для кластеров Kubernetes.

До этого приходилось вручную монтировать хранилища контейнеров на виртуальные диски VMDK, что было крайне неудобно, а при большом количестве контейнеров - практически нереально.

Сейчас архитектура VCP реализуется такими решениями Kubernetes as a Service (KaaS), как VMware PKS, RedHat OpenShift, Google Cloud Anthos и Rancher. Для этой архитектуры было возможно 2 режима развертывания - "in-tree" и "out-of-tree". В первом случае VCP был интегрирован в дистрибутив Kubernetes и развертывался одновременно с ним, а во втором - подразумевал последующую интеграцию после развертывания K8s.

Ввиду того, что обновлять VCP при первом варианте развертывания можно было только одновременно с K8s, вариант "in-tree" был исключен из конфигурации развертывания Kubernetes. VMware использовала эту ситуацию для того, чтобы полностью переписать код VCP (который, скорее всего, был не самым оптимальным еще с хакатона) и получить новую архитектуру - CNS.

Также кстати оказалась и покупка компании Heptio (об этом мы упоминали вот тут) - в итоге VMware интегрировала решение CNS прямо в платформу vSphere, без необходимости что-либо развертывать дополнительно. Мало того, архитектура CNS поддерживает любой оркестратор контейнеров, построенный на базе спецификации CSI.

Таким образом, CNS Control Plane на сервере vCenter брокеризует соединение с плагином (на данный момент только для K8s), который уже взаимодействует на уровне Kubernetes.

Частью решения CNS являются First Class Disks (FCDs), о которых мы рассказывали вот тут. Они были придуманы для того, чтобы управлять сервисами, заключенными в VMDK-диски, но не требующими виртуальных машин для своего постоянного существования. Это очень удобно для контейнеров, так как их можно динамически привязывать и отвязывать, не оставляя после себя "осиротевших" VMDK.

Кроме всего этого, CNS полностью подчиняется политикам Storage Policy-Based Management (SPBM), а это значит, что инфраструктура таких хранилищ отлично согласуется с пространством ярусного хранения VMware vSAN и концепцией K8s StorageClass. Также CNS, конечно же, работает и с классическими хранилищами VMFS и NFS, что позволяет использовать политики SPBM на базе тэгов.

Надо отметить, что технология CNS доступна для всех пользователей VMware vSphere, начиная с издания Standard, поэтому платить отдельно за нее не придется. Ну и в заключение обзорное видео о том, что такое и как работает Cloud Native Storage:

Скачать VMware vSphere 6.7 Update 3 с интегрированной технологией CNS можно по этой ссылке.

Перед предстоящей конференцией VMworld 2019, которая состоится на следующей неделе в Сан-Франциско, компания VMware сделала несколько небольших анонсов, чтобы они не потерялись на фоне больших. В частности, стала доступной для скачивания новая версия платформы VMware vSphere 6.7 Update 3, решение VMware vSAN 6.7 Update 3 и продукт VMware PKS 1.5. Ну а на днях было выпущено еще одно обновление фреймворка для управления виртуальной инфраструктурой через PowerShell - VMware PowerCLI 11.4.

Напомним, что о прошлой версии PowerCLI 11.3 мы писали в начале лета вот тут. Давайте посмотрим, что нового появилось в PowerCLI 11.4:

1. Поддержка решения Horizon View 7.9.

Модуль для работы с Horizon View (VMware.VimAutomation.HorizonView) был обновлен, чтобы поддерживать новые возможности решения VMware Horizon 7.9.

2. Обновленный модуль Storage.

В PowerCLI 11.4 был существенно доработан модуль по работе с хранилищами, чтобы поддерживать последнюю версию продукта для создания отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. Например, были обновлены командлеты Get/Set-VsanClusterConfiguration, которые теперь поддерживают функции Proactive Rebalance и vSphere Update Manager baseline preference.

Вот пример работы с этими функциями в действии (на красный текст внимание не обращайте, он говорит о том, что для работы нужен vSAN 6.7 U3):

Также появилось три новых командлета. Первый - это Add-VsanObjectToRepairQueue, он может восстанавливать объекты, которые добавляются в очередь на восстановление (ранее эта функция была частично доступна в командлете Repair-VsanObject). Второй и третий - это Get-VsanResyncingOverview и Get-VsanEnterMaintenanceMode, они работают с новыми функциями vSAN 6.7 U3.

3. Обновленный модуль HCX.

Теперь в этот модуль было добавлено целых 6 новых командлетов:

• Get-HCXAppliance - возвращает информацию о текущей версии виртуального модуля и доступных версиях.
• Его можно использовать с командлетом New-HCXAppliance - он позволяет проапгрейдить виртуальный модуль на одну из доступных версий.
• Get-HCXContainer - добавляет возможность вывести список контейнеров типа "OrgVdc".
• Get-HCXNetwork - добавляет возможность посмотреть 2 типа сетей: NsxtSegment и OrgVdcNetwork.
• New-HCXNetworkExtension - дает возможность работать с сетями типа NsxtSegment.
• Get-HCXServiceMesh - он имеет свойства, которые дают посмотреть параметры некоторых сервисов.

Пример использования командлетов Get-HCXAppliance и Get-HCXServiceMesh для просмотра нового свойства ServiceStatus:

Командлеты Get-HCXServiceMesh и Get-HCXInterconnectStatus были существенно доработаны, чтобы уметь исправлять ситуацию при различных ошибках. Также свойство DestinationNetworkValue теперь отображается корректно.

Как обычно, обновление модулей PowerCLI происходит командой:

Update-Module -Name VMware.PowerCLI

Больше информации об нововведениях PowerCLI 11.4 приведено в Change Log. Также рекомендуем почитать VMware PowerCLI 11.4.0 User’s Guide. Главный документ с примерами - VMware PowerCLI 11.4.0 Cmdlet Reference.

Недавно на сайте проекта VMware Labs обновилась одна из самых полезных утилит для администраторов хранилищ VMware vSphere – IOBlazer. Она позволяет сгенерировать нагрузку на хранилища с любых платформ - Linux, Windows и Mac OS, при этом администратор может задавать паттерн нагрузки с высокой степенью кастомизации, что очень важно для реального тестирования подсистемы хранения для виртуальных машин.

Недавно мы писали про интересную штуку - утилиту Machine Learning on VMware Cloud Foundation, которая предоставляет инженерам по работе с данными инструменты в области Data Science в рамках виртуальной инфраструктуры. К сожалению, она пока не поддерживает использование GPU хостов, а работает только с CPU. Но заслуживает внимание сам факт такого решения - VMware начинает плотно прорабатывать тему машинного обучения.

Также о задачах машинного обучения на платформе vSphere мы рассказывали в статье "Некоторые аспекты использования VMware vSphere для задач машинного обучения и технология FlexDirect от компании BitFusion".

Еще один элемент этой концепции - выпущенный на днях документ "Learning Guide – GPUs for Machine Learning on vSphere". В нем VMware рассказывает о том, как правильно строить системы, заточенные под алгоритмы машинного обучения, на платформе VMware vSphere.

Документ позволит архитекторам ИТ-инфраструктур и командам DevOps ответить на следующие вопросы:

• Зачем нужны серверы с GPU для задач machine learning (ML) на платформах high performance computing (HPC).
• Как именно используется модуль GPU.
• Как на платформе vSphere строить ML-системы.
• Как транслировать модуль GPU в рабочую нагрузку ML в виртуальной машине.
• Как наладить взаимодействие между командой data scientists и администраторов виртуальной инфраструктуры.

Задачи машинного обучения с использованием GPU можно решать тремя способами:

Эти способы реализуют соответствующие технологии:

Об остальном читайте в интереснейшем документе на 43 страницах. В конце вайтпэйпера приведена огромная коллекция полезных ссылок на документы и статьи по практическому применению задач машинного обучения в виртуальных средах.

На этой неделе, перед предстоящей конференцией VMworld 2019, компания VMware сделала пару интересных анонсов, а именно: было объявлено о новой версии платформы VMware vSphere 6.7 Update 3 и обновлении платформы создания отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3.

Одновременно с этим было рассказано еще об одном обновлении решения для управления инфраструктурой контейнеров приложений VMware Enterprise PKS 1.5 (Pivotal Container Service). Новый релиз построен на базе ПО Kubernetes 1.14, предназначенного для развертывания и обслуживания контейнерных сред. Напомним, что ранее мы писали о возможностях PKS версии 1.3 для облака Microsoft Azure.

Давайте посмотрим, что нового появилось в PKS 1.5:

1. Поддержка Windows-сред для контейнеров.

Пока данная возможность доступна в бета-режиме. Таким образом, теперь на платформе PKS можно одновременно управлять работой контейнеров на базе Linux и Windows. Это позволит разработчикам использовать единый стек средств разработки и фреймворки, а администраторам единые утилиты для управления контейнерами.

Более подробно о бета-программе по работе с Windows-контейнерами на платформе Kubernetes под управлением PKS можно почитать вот тут.

2. Увеличение гибкости, безопасности и прозрачности для операций с кластерами.

Тут появилось 3 значимых нововведения:

• Появились новые функции по управлению кластерами Kubernetes - поддержка апгрейда отдельных кластеров, дополнительные параметры конфигурации балансировщика, а также поддержка аутентификации и авторизации на базе SAML.
• Поддержка приоритизации правил фаервола с помощью секций на уровне VMware NSX-T Distributed Firewall.
• Улучшилась обзорность кластеров - появились новые метрики, было добавлено больше информации о статусе и здоровье кластеров, разработчикам была предоставлена большая видимость в рамках пространств имен.

3. Графический интерфейс VMware Enterprise PKS Management Console.

Теперь у решения есть обновленная консоль (пока в бета-режиме), которая предоставляет интуитивно понятный интерфейс при управлении кластерами Kubernetes и их компонентами:

Предыдущая версия решения позволяла выполнять функции развертывания новых кластеров, теперь также доступны и функции апгрейда и накатывания патчей. Кроме того, был упрощен онбординг пользователей - теперь можно добавить их в специальном разделе, и они сразу же получают доступ в соответствии с ролью:

4. Прочие возможности.

Новый PKS 1.5 даст администраторам и некоторые другие новые возможности, такие как постоянный IP балансировщика (это позволит использовать человекопонятные URL), а также поддержку нового релиза Harbor 1.8, где есть новые функции автоматизации интеграций, безопасности, мониторинга и поддержки репликации между реестрами.

Также о новых возможностях платформы VMware PKS 1.5 написано в блоге Pivotal. Больше информации о самом продукте представлено на его официальной странице.

Вчера мы писали о том, что в перед предстоящим VMworld 2019 компания VMware рассказала о новых возможностях решения для организации отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. Одновременно с этим была анонсирована и новая версия главной платформы виртуализации VMware vSphere 6.7 Update 3.

Напомним, что прошлая версия - vSphere 6.7 Update 2 - вышла весной этого года. Давайте посмотрим, что нового будет в vSphere 6.7 U3:

1. Поддержка нескольких vGPU (от NVIDIA) для одной виртуальной машины.

Теперь vSphere поддерживает несколько устройств NVIDIA GRID virtual GPU (vGPU), привязанных к одной виртуальной машине. Это, прежде всего, даст возможность увеличения вычислительных мощностей для тяжелых нагрузок, предъявляющих высокие требования к расчетам графического процессора (например, задачи машинного обучения).

2. Поддержка AMD EPYC Generation 2.

Новый релиз vSphere будет полностью совместим с поколением процессоров AMD EPYC. VMware и AMD работают в тесном сотрудничестве в целях поддержки самых последних нововведений в плане безопасности и производительности, заявленных в последних моделях данной линейки CPU.

3. Возможность изменить PNID для vCenter.

Идентификатор PNID (Primary Network IDentifier) сервера vCenter Server - это его сетевое имя (оно же FQDN), которое задается на этапе установки. Теперь есть возможность изменить его прямо в интерфейсе:

4. Поддержка Dynamic DNS (DDNS).

Dynamic DNS - это механизм обновления записей DNS-серверов новыми данными при изменении IP-адресов хостов. Ранее при использовании динамических IP для vCenter Server appliance (VCSA), в случае, если адрес менялся, приходилось вручную обновлять DNS-записи (собственно, поэтому никто и не использовал динамические IP). Теперь же с поддержкой DDNS этот процесс автоматизирован.

5. Улучшения поддержки драйверов.

Для сетевого драйвера VMXNET3 версии 4 были добавлены следующие возможности:

• Guest encapsulation offload and UDP (расчет контрольных сумм)
• Поддержка ESP RSS для стека Enhanced Networking Stack (ENS)

Также было обновлено множество драйверов, например, в драйвере ixgben появились функции queue pairing для оптимизации производительности CPU, а в драйвере bnxtnet добавилась поддержка адаптеров Broadcom 100 GbE и потоков multi-RSS.

Вот полный список обновленных драйверов:

• VMware nvme
• Microchip smarpqi
• Marvell qlnativefc
• Broadcom lpfc/brcmfcoe
• Broadcom lsi_msgpt2
• Broadcom lsi_msgpt35
• Broadcom lsi_msgpt3
• Broadcom lsi_mr3
• Intel i40en
• Intel ixgben
• Cisco nenic
• Broadcom bnxtnet

Скорее всего, новая версия VMware vSphere 6.7 Update 3 будет доступна для скачивания либо во время VMworld 2019, либо через несколько дней после его завершения. Следите за нашими обновлениями.

В прошлом мы много писали о стенсилах Visio для различных продуктов VMware (а также от других вендоров, например, Veeam Stencils). Между тем, пользоваться Visio не всем удобно - кто-то привык работать на Mac OS, где нет Microsoft Visio, кому-то не хочется покупать этот инструмент ради простеньких диаграмм и т.п.

Потому я думаю, что многим будет полезно узнать о проекте draw.io, который бесплатно позволяет рисовать схемы и диаграммы средствами онлайн-утилиты с использованием стенсилов VMware, Veeam и других. Для начала работы загрузите, например, стенсилы VMware с помощью меню Import:

После импорта можно сразу начать рисовать диаграммы:

После составления диаграммы или схемы, ее можно экспортировать в формат картинки или PDF, а также в файл VSDX (это пока в состоянии beta).

Напомним, что сами стенсилы можно скачать по этим ссылкам:

• Visio Stencils for the VMware Validated Designs version 4.3
• Visio Stencils от Veeam  
• NSX Stencils 

Безусловно, онлайн-редактор draw.io не заменяет полноценного Visio, но для рисования простых диаграмм и визуализации рабочих процессов его вполне хватит. Также у этого решения развиваются и офлайн-клиенты, которые можно скачать по этим ссылкам:

• Windows (.exe)
• macOS (.dmg)
• Linux (Debian/Ubuntu)
• Linux (AppImage)

Как многие из вас знают, с 25 по 29 августа в Сан-Франциско пройдет главная конференция года в области виртуализации - VMworld 2019. На конференции будут представлены сотни докладов, практических семинаров и лабораторных работ, поэтому планировать свое время нужно заранее.

Напомним, что конференцию можно посетить не только лично, но и посмотреть онлайн. Чтобы найти подходящую вам сессию, нужно воспользоваться вот этим порталом поиска. На данный момент там представлено 1032 материала:

Кстати, не забывайте и об онлайн-библиотеке материалов VMworld 2018.

Ну а для тех, кому лень искать по всем этим сотням докладов, блоггер Дункан Эппинг выпустил свой список топ-25 сессий, который мы приведем ниже:

• 60 Minutes of Non-Uniform Memory Architecture [HBI2278BU] от Frank Denneman - все самое главное об архитектуре NUMA на платформе vSphere.
• A Practitioner’s Guide to vCenter Server Architecture [HBI2227BU] от Emad Younis и Sandeep Byreddy - больше подробностей об архитектуре vCenter.
• HCI Management: Current and Future [HCI1207BU] от Junchi Zhang и Christian Dickmann - демонстрация возможностей гиперконвергентной инфраструктуры.
• “If This Then That” for vSphere – The Power of Event-Driven Automation [HCI1379CU] от William Lam и Michael Gasch - средства автоматизации vSphere на базе триггеров событий.
• Hyperconverged Infrastructure: Present and Future [HCI2733BU] от Vijay Ramachandran - о будущем средств управления гиперконвергентной инфраструктурой.
• VMware CTO Panel: What’s Over the Horizon? [OCTO2899PU] от Ray O’Farrell, Pere Monclus, Greg Lavender и Christos Karamanolis - все самые последние новости об инфраструктуре виртуальных ПК VMware Horizon.
• The Virtually Speaking Podcast Live: The Future of Storage [HCI1894PU] от Pete Flecha, John Nicholson, и Ken Werneburg - сессия и живой подкаст о хранилищах.
• PowerCLI Deep Dive [HBI1729BU] от Kyle Ruddy и Luc Dekens - все самое интересное от гуру PowerCLI.
• vSphere Virtual Volumes: Technical Deep Dive [HBI2853BU] от Jason Massae и Thiruvengada Govindan Thirumal - одна из самых интересных сессий, так как именно функциональность VVols развивается самыми мощными темпами.
• VMware Cloud on AWS: SDDC Availability Deep Dive [HBI1924BU] от Jeremiah Megie и Glenn Sizemore - доступность ВМ и данных в публичном облаке - это то, что волнует очень многих.
• Zero to DR in 60 Minutes: VMware Site Recovery DRaaS Technical Deep Dive [HBI1229BU] от Stefan Tsonev и Cato Grace - все самое свежее о катастрофоустойчивых решениях VMware.
• Extreme Performance Series - это маст си о производительности платформы VMware vSphere, где нам покажут новые максимумы платформы и достижения в сфере высокой производительности.
• How GPU-Assisted ML for Medical Research Proved to Be a Force for Good [HBI1546BU] от Niels Hagoort и Johan van Amersfoort - прикладная демонстрация использования алгоритмов машинного обучения на платформе виртуализации. Модно.
• One Storage Platform for Thousands of Cloud Providers [HBI2537PU] от Ari Paul, Rawlinson Rivera и John Toor - рассказ о возможностях S3-совместимого объектного хранилища и vCloud Director для сервис-провайдеров.
• Core Storage Best Practices: Ensuring Your Storage Is Reliable [HBI2751BU] от Jason Massae и Cody Hosterman - на это обязательно надо сходить. Лекция от гуру подсистемы хранения vSphere (VMFS, NFS, VAAI и т.п.).
• Optimizing vSAN for Performance [HCI1757BU] от Paudie O’Riordan - крутая лекция о производительности vSAN.
• Showcase Keynote: Hybrid Cloud Architecture – The New Standard from the Data Center [HYB3544KU] от Kit Colbert, Raghu Raghuram и Mark Lohmeyer - о будущем виртуальных датацентров.
• vSphere Networking in the Data-Centric Future [HBI2136BU] от Sudhansu Jain и Disha Chopra - нам расскажут, что нового ожидается в сетевом стеке датацентров будущего.
• Innovations in vMotion: Features, Performance, and Best Practices [HBI1421BU] от Sreekanth Setty и Arunachalam Ramanathan - что нового еще может быть в vMotion? А вот и расскажут)
• VMware Cloud on Dell EMC: Technical Deep Dive [HBI1975BU] от Mike Hall и Sridevi Ravuri - раньше это называлось Project Dimension. Это создание облачной инфраструктуры SDDC, но на площадке заказчика.
• Encrypting VMs on Standalone Hosts: Tech Preview [HBI1947BU] от Mike Foley и Samyuktha Subramanian - что-то новое о шифровании ВМ.
• Diversity and Inclusion Tech Panel: You Can Drive Success for Women in Tech [PD2632U] от Jodi Shely - оффтопик об участии женщин в ИТ.
• Accelerating Intra-Host PVRDMA Storage Traffic in a Future Dell AMD Server [OCTO2718BU] от Richard Brunner и Shyamkumar Iyer - немного дип-тек хардкора для любителей.
• Edge Computing Innovations in Office of the CTO and Dell Technologies [EIOT2715BU] от Chris Wolf и Daniel Beveridge - новые возможности технологий VMware и Dell от CTO VMware.
• How to Become the Platform Engineer of the Future [PD2248U] от Martijn Baecke и Matthew Steiner - как стать работником будущего, быть актуальным и заработать много денег)

Конечно же, как и всегда, мы будем освещать VMworld 2019. Смотрите также наши обзоры с прошлых конференций:

• VMworld 2018
• VMworld 2017
• VMworld 2016
• VMworld 2015
• VMworld 2014
• VMworld 2013
• VMworld 2012
• VMworld 2011
• VMworld 2010
• VMworld 2009
• VMworld 2008
• VMworld 2007

На прошлой неделе мы писали об организации среды управления на базе vCenter Hybrid Linked Mode для гибридной виртуальной инфраструктуры, объединяющей ресурсы частного и публичного облаков. Сегодня мы поговорим еще об одной полезной вещи - библиотеке контента Content Library, в которой можно хранить шаблоны виртуальных машин (VM Templates), готовые виртуальные устройства (Virtual Appliances) в формате OVF/OVA, а также другие объекты (например, ISO-образы).

VMware vSphere Content Library позволяет подписать датацентры на обновления главного датацентра (который представляется как издатель/publisher), где можно создать шаблон виртуальной машины, а на уровне подчиненного датацентра (подписчик/subscriber) администраторы видят содержимое библиотеки и развертывают машины из него.

Такая же ситуация и с облачной и гибридной средой -  Content Library очень просто и быстро позволяет распространять контент по сети датацентров.

Так же, как и в онпремизной инфраструктуре, в облаке VMware vCloud on AWS вы можете подписаться на обновления существующей Content Library. Для этого в vSphere Client перейдите в Menu > Content Libraries:

Нажмите плюсик для создания новой библиотеки:

Там нужно задать имя библиотеки и указать адрес облачного сервера SDDC vCenter Server (можно указать и онпремизный vCenter, если у вас библиотека на нем):

Далее указываем Subscription URL вашей библиотеки:

Можно сделать и локальную библиотеку, чтобы пользоваться ее ресурсами только в рамках облачной среды этого vCenter.

Дальше выбираем хранилище, где будет находиться контент:

Ну и после создания библиотека появится в списке:

Когда вы кликните на библиотеку, вы увидите разделение на шаблоны виртуальных машин, готовые виртуальные модули OVF/OVA и другой контент, такой как ISO-образы:

Далее можно выбрать, например, шаблон ВМ, нажать на него правой кнопкой и выбрать пункт создания новой ВМ из этого шаблона (New VM from This Template...):

Также весь этот путь в рамках рабочего процесса по операциям в vCenter можно пройти в лабораторной работе VMware Cloud on AWS - Getting Started Hands-on Lab.

Мы часто пишем об облачной платформе VMware vCloud on AWS (VMConAWS), которая позволяет разместить виртуальные машины на базе VMware vSphere в облаке Amazon AWS, а также построить гибридную среду, сочетающую в себе онпремизные и облачные ресурсы виртуальной инфраструктуры.

Сегодня мы поговорим об основном инструменте VMC, который позволяет управлять гибридной облачной средой. Сначала отметим, что управление такой структурой основывается на механизме Linked Mode, который объединяет серверы vCenter и позволяет использовать единое пространство объектов в географически распределенных датацентрах. Сейчас он называется Enhanced Linked Mode или Embedded Linked Mode (когда Platform Services Controller и vCenter Server Appliance находятся вместе на одном сервере).

Если вы разворачиваете Linked Mode на собственной инфраструктуре, то все серверы vCenter должны быть в одном домене SSO и иметь одну и ту же версию (включая номер билда). Когда же вы используете общий режим vCenter в гибридной среде (Hybrid Linked Mode), то ситуация, когда в облаке развернута более новая версия vCenter, считается нормальной.

Есть 2 способа использовать гибридный режим управления vCenter. Первый - это развернуть виртуальный модуль (virtual appliance) Cloud Gateway в своей инфраструктуре и соединить его с облачной инфраструктурой SDDC. Второй - это зайти с помощью vSphere Client на облачный SDDC и управлять объединенными ресурсами частного и публичного облака оттуда.

Во втором случае вы можете подключить только один домен онпремизной инфраструктуры, поэтому если у вас сложная доменная инфраструктура, то необходимо использовать первый метод.

Чтобы начать работу по созданию единой управляющей среды гибридного облака, нужно скачать установщик Cloud Gateway installer. Для этого надо зайти в консоль VMware Cloud on AWS и перейти на вкладку Tools. Там можно скачать этот виртуальный модуль:

Скачиваем ISO-образ Cloud Gateway и монтируем его к вашей рабочей станции. Запускаем его из папки /ui-installer и проходим по шагам мастера. На одном из них задаем параметры сервера онпремизного vCenter, где будет установлен шлюз:

В процессе установки вас попросят указать пароль root, целевой датастор, конфигурацию сети, NTP и SSO, также будет возможность присоединить шлюз к домену Active Directory.

Далее нужно переходить ко второму этапу - настройке гибридного режима Hybrid Linked Mode. Не забудьте свериться с требованиями к этому режиму в документации.

Далее нужно будет указать IP-адрес облачного сервера vCenter и параметры учетной записи cloudadmin@vmc.local.

Эту информацию можно получить в консоли VMware Cloud on AWS, выбрав ваш SDDC, затем Settings и развернуть поле Default vCenter User Account:

В качестве Identity Source нужно указать ваш онпремизный домен AD, для которого вы хотите настроить доступ.

После этого все будет настроено, и вы можете начинать управлять своей гибридной инфраструктурой через vSphere Client:

На прошлой неделе мы писали о выпуске мобильного клиента для управления виртуальной инфраструктурой VMware vSphere - Mobile Client версии 1.1.

А на днях компания VMware на сайте проекта Labs уже выложила его обновление - vSphere Mobile Client 1.2. Давайте посмотрим, что там нового:

• Улучшения inventory - возможность добавить ВМ в закладки, после чего можно быстро перейти к ней из верхней панели в заголовке.
• Дэшборд vCenter теперь агрегирует хосты и виртуальные машины.
• Свайп карточки ВМ теперь показывает скриншот, по клику на который отображается большая картинка.
• Множество исправлений ошибок.

Скачать обновленный vSphere Mobile Client 1.2 можно по этим ссылкам:

• Android - до того, как устанавливать клиент, вам надо присоединиться к этой группе Google Groups, члены которой принимают участие в альфа-тестировании.
• iOS - до того, как ставить это приложение на айфон, нужно скачать приложение для тестировщиков Test Flight.

Чтобы получать пуш-уведомления на ваши устройства, нужно будет поднять vSphere Mobile Client Notification Service в виде контейнера Docker. О том, как это сделать написано тут, а скачать сам контейнер можно на странице vSphere Mobile Client.

Многи администраторы VMware vSphere, особенно в крупных инфраструктурах, развертывают механизм VMware vCenter HA, обеспечивающий отказоустойчивость сервера VMware vCenter (а точнее виртуальной машины vCenter или vCenter Server Appliance, vCSA). Все понимают, что vCenter / vCSA - это важнейшая часть виртуальной инфраструктуры, ведь без нее не работают такие критичные сервисы, как Site Recovery Manager, NSX и Horizon View.

Функции vCenter HA появились еще в VMware vSphere 6.5, но в vSphere 6.7 Update 1 они были существенно доработаны, а сам процесс обновления и апгрейдов vCenter упрощен. При этом управление механизмом vCenter HA полностью перешло в vSphere Client в рамках единого рабочего процесса (раньше были 2 воркфлоу - Basic и Advanced).

Давайте посмотрим, какие пути апгрейда и обновления существуют для конфигурации vCenter HA. Для начала напомним, как это выглядит:

Две машины с vCenter (активный узел и его клон - пассивный узел), а также компонент Witness образуют собой кластер, где Witness защищает от сценария Split Brain в среде vCenter HA (не путайте это с обычным vSphere HA). В случае отказа основного узла, его функции берет на себя резервный, что существенно быстрее по сравнению с восстановлением vCenter средствами стандартного HA (перезапуск на другом сервере). Это в итоге отражается на меньшем времени RTO для таких критичных сервисов, как SRM и NSX, в случае сбоев.

Перед обновлением помните, что для vCenter HA не поддерживается создание снапшотов, а значит нужно обязательно сделать File-Based Backup основного сервера vCenter перед обновлением.

Если у вас VMware vSphere 6.5, то при обновлении вы можете не разбивать кластер vCenter HA, а просто скачать ISO-образ с обновлениями (через VMware Patch Portal), либо ничего не скачивать и сразу инициировать процесс обновления из командной строки, если у вас есть доступ в интернет из компонентов кластера.

Делается все это так:

• Сначала кластер vCenter HA надо перевести в режим обслуживания (maintenance mode), что не прервет репликацию, но предотвратит автоматический запуск процесса восстановления (failover).

• Затем заходим на компонент Witness по SSH и запускаем его обновление из командной строки. Если у вас есть доступ в интернет на этом экземпляре vCenter, то делается это простой командой:

software-packages install --url --acceptEulas

Если же вы скачали ISO-образ с обновлениями, то делается это следующей командой:

software-packages install --iso --acceptEulas

• Далее заходим на пассивный узел vCenter и там делаем то же самое.
• Инициируем вручную процесс восстановления vCenter на пассивный узел (failover).
• Обновляем активный узел vCenter.
• Возвращаем конфигурацию в исходное состояние (failback).
• Отключаем режим обслуживания (maintenance mode).

Если же у вас vCenter 6.7, то опция обновления у вас одна - отключение и удаление конфигурации HA, после чего происходит накат обновления на активном узле и повторное развертывание HA-конфигурации (такая же опция доступна и для vCenter 6.5). Этот рабочий процесс обусловлен изменениями в схеме базы данных, которые происходят в vCenter 6.7.

Начиная с vSphere 6.7 Update 1, установщик vCenter Server Upgrade installer может автоматически обнаружить присутствие кластера vCenter HA:

Далее в процессе обновления он сохранит его конфигурацию, обновит активный узел vCenter, а потом развернет его реплики для пассивного узла и узла Witness.

Надо понимать, что в процессе обновления машины с пассивным узлом и Witness будут удалены, поэтому не забудьте сделать бэкап. И сам процесс лучше проводить в ручном режиме, а не автоматическом, чтобы иметь больший контроль над получающейся итоговой конфигурацией.

Еще очень давно, 8 лет назад, компания VMware развивала мобильный клиент (см. также тут) для управления инфраструктурой VMware vSphere, но забросила это дело на некоторое время.

И вот совсем недавно на сайте проекта VMware Labs появилось средство vSphere Mobile Client 1.1. Это очередной подход VMware к управлению виртуальной средой через мобильные приложения для iOS и Android.

Само собой, vSphere Mobile Client предоставляет лишь малую часть функций полноценного клиента (но для мобильных устройств это и не нужно), вот основные из них:

• Просмотр информации и виртуальных машинах - просмотр статуса ВМ (включено/выключено), использования ресурсов и конфигурации машин.
• Управление ВМ - операции с питанием (в том числе, перезагрузка). Возможность найти виртуальную машину с помощью поиска. Если вы свайпните влево карточку с виртуальной машиной, то получите скриншот ее консоли, который можно сохранить.
• Мониторинг задач - можно "подписаться" на любую запущенную задачу и получать нотификации на телефон о том, когда она завершится. При этом неважно, что ваш девайс находится в неактивном режиме или в данный момент вы работаете с другим приложением.
• Графики производительности - можно отслеживать использование ресурсов виртуальными машинами в реальном времени, либо в разрезе дня, недели, месяца или года назад. Счетчики включают в себя метрики CPU, памяти, хранилищ и сети. Также на дэшборде можно посмотреть общее использование ресурсов vCenter.

Ссылки на загрузку vSphere Mobile Client:

• Android - до того, как устанавливать клиент, вам надо присоединиться к этой группе Google Groups, члены которой принимают участие в альфа-тестировании.
• iOS - до того, как ставить это приложение на айфон, нужно скачать приложение для тестировщиков Test Flight.

Чтобы получать пуш-уведомления на ваши устройства, нужно будет поднять vSphere Mobile Client Notification Service в виде контейнера Docker. О том, как это сделать написано тут, а скачать сам контейнер можно на странице vSphere Mobile Client.

Многие из администраторов VMware vSphere знают про механизм Storage I/O Control (SIOC) в платформе VMware vSphere (см. также наш пост здесь). Он позволяет приоритезировать ввод-вывод для виртуальных машин в рамках хоста, а также обмен данными хостов ESXi с хранилищами, к которым они подключены.

Сегодня мы поговорим о SIOC версии 2 и о том, как он взаимодействует с политиками Storage Policy Based Management (SPBM). Начать надо с того, что SIOC v2 полностью основан на политиках SPBM, а точнее является их частью. Он позволяет контролировать поток ввода-вывода на уровне виртуальных машин.

SIOC первой версии работает только с томами VMFS и NFS, тома VVol и RDM пока не поддерживаются. Он доступен только на уровне датасторов для регулирования потребления его ресурсов со стороны ВМ, настраиваемого на базе шар (shares). Там можно настроить SIOC на базе ограничения от пиковой пропускной способности (throughput) или заданного значения задержки (latency):

На базе выделенных shares виртуальным машинам, механизм SIOC распределит пропускную способность конкретного хранилища между ними. Их можно изменять в любой момент, перераспределяя ресурсы, а также выставлять нужные лимиты по IOPS:

Надо отметить, что SIOC v1 начинает работать только тогда, когда у датастора есть затык по производительности, и он не справляется с обработкой всех операций ввода-вывода.

Если же мы посмотрим на SIOC v2, который появился в VMware vSphere 6.5 в дополнение к первой версии, то увидим, что теперь это часть SPBM, и выделение ресурсов работает на уровне виртуальных машин, а не датасторов. SIOC v2 использует механизм vSphere APIs for I/O Filtering (VAIO), который получает прямой доступ к потоку ввода-вывода конкретной ВМ, вне зависимости от того, на каком хранилище она находится.

Таким образом, вы можете использовать SIOC v2 для регулирования потребления машиной ресурсов хранилища в любой момент, а не только в ситуации недостатка ресурсов.

Поэтому важно понимать, что SIOC v1 и SIOC v2 можно использовать одновременно, так как они касаются разных аспектов обработки потока ввода-вывода от виртуальных машин к хранилищам и обратно.

SIOC v2 включается в разделе политик SPBM, в секции Host-based rules:

На вкладке Storage I/O Control можно выбрать предопределенный шаблон выделения ресурсов I/O, либо кастомно задать его:

Для выбранной политики можно установить кастомные значения limit, reservation и shares. Если говорить о предопределенных шаблонах, то вот так они выглядят для варианта Low:

Так для Normal:

А так для High:

Если выберите вариант Custom, то дефолтно там будут такие значения:

Лимит можно задать, например, для тестовых машин, где ведется разработка, резервирование - когда вы точно знаете, какое минимальное число IOPS нужно приложению для работы, а shares можете регулировать долями от 1000. Например, если у вас 5 машин, то вы можете распределить shares как 300, 200, 100, 100 и 100. Это значит, что первая машина будет выжимать в три раза больше IOPS, чем последняя.

Еще один плюс такого назначения параметров SIOC на уровне ВМ - это возможность определить политики для отдельных дисков VMDK, на которых может происходить работа с данными разной степени интенсивности:

После того, как вы настроили политики SIOC v2, вы можете увидеть все текущие назначения в разделе Monitor -> Resource Allocation -> Storage:

Мы часто пишем о томах VVols (Virtual Volumes), которые позволяют вынести часть нагрузки по обработке операций с хранилищами на сторону аппаратных устройств (они, конечно же, должны поддерживать эту технологию), что дает пользователям преимущества по сравнению с VMFS. В инфраструктуре VVols массив сам определяет, каким образом решать задачи доступа и организации работы с данными для виртуальных машин, выделяя для их объектов (виртуальные диски и прочее) отдельные логические тома (VVols).

Один из известных производителей, поддерживающих технологию VVols - это компания Pure Storage. Недавно Cody Hosterman написал статью о том, как подключить тома VVols в VMware vSphere через PowerCLI для хранилищ Pure Storage. Коди развивает свой модуль PowerShell, который называется PureStorage.FlashArray.VMware.

Давайте посмотрим, как он работает. Сначала можно почитать о доступных опциях командлета Mount-PfaVvolDatastore, с помощью которого можно сделать монтирование датастора VVol:

Командлет может делать следующее:

• Проверяет, презентован ли protocol endpoint (PE) указанного массива кластеру. Если нет, то с его помощью можно сделать это.
• Ресканирует кластер, чтобы убедиться, что PE виден хостам.
• Монтирует VVol в кластере.
• Возвращает датастор хранилищу.

Пример 1 - имеется прямой доступ к массиву

Соединяемся с vCenter и создаем соединение с FlashArray:

connect-viserver -Server <vCenter FQDN>
$flasharray = new-pfaConnection -endpoint <FlashArray FQDN> -credentials (get-credential) -ignoreCertificateError -nonDefaultArray

В интерфейсе vSphere Client датастор VVol еще не будет смонтирован:

Со стороны Pure Storage protocol endpoint также не подключен:

Запускаем Mount-PfaVvolDatastore:

Mount-PfaVvolDatastore -flasharray $flasharray -cluster (get-cluster <cluster name>) -datastoreName <datastore name>

После этого PE будет подключен к Pure Storage:

А датастор VVol будет смонтирован к кластеру:

Пример 2 - нет доступа к массиву

Значит тут мы полагаем, что администратор хранилищ уже настроил PE, и вам нужно только смонтировать том VVol:

Так как датастор VVol ранее не монтировался, нельзя просто создать array connection (нет доступа к массиву). В этом случае подойдет командлет Get-VasaStorageArray:

Передав в командлет монтирования массив FA-m50, имя кластера и имя датастора, можно смонтировать том VVol:

$vasaArrays = Get-VasaStorageArray
Mount-PfaVvolDatastore -vasaArray $vasaArrays[<desired index>] -cluster (get-cluster <cluster name>) -datastoreName <datastore name>

Если обобщить, то процесс монтирования датастора VVol с самого начала выглядит так:

• Установка модуля PowerShell
• Соединение с массивом
• Соединение с vCenter
• Создание хостовой группы (в случае с iSCSI нужно еще настроить iSCSI-таргеты)
• Зарегистрировать VASA-провайдер
• Смонтировать датастор VVol

Полный сценарий PowerShell приведен ниже:

install-module PureStorage.FlashArray.VMware

$flasharray = new-pfaConnection -endpoint flasharray-m50-1 -credentials (get-credential) -ignoreCertificateError -nonDefaultArray
connect-viserver -Server vcenter-02

$cluster = get-cluster Embarcadaro

New-PfaHostGroupfromVcCluster -cluster $cluster -iscsi -flasharray $flasharray

New-PfaVasaProvider -flasharray $flasharray -credentials (get-credential)

Mount-PfaVvolDatastore -flasharray $flasharray -cluster $cluster -datastoreName m50-VVolDS

А так в консоли vSphere Client:

Не так давно мы писали о новых возможностях последней версии платформы виртуализации VMware vSphere 6.7 Update 2. Одним из нововведений стал улучшенный интерфейс управления плагинами (Plugin Management UI), который дает пользователю полный контроль над процессами обновления и развертывания плагинов к vSphere.

Если еще в Update 1 при установке нового плагина или обновлении старого, в случае неудачи процесс просто завершался, и приходилось смотреть в файл журнала, то теперь для этого есть графическое представление с выводом информации о возникших проблемах (например, несовместимость с новой версией платформы).

В подразделе Client Plug-ins раздела Administrator теперь приведены все клиентские зарегистрированные плагины на любом из серверов vCenter в вашем окружении. Также у этих плагинов есть статусы: In Progress, Deployed, Failed или Incompatible.

Статусы Failed и Incompatible являются кликабельными - при нажатии на них всплывет подсказка с возможной причиной возникновения подобных ошибок или причины несовместимости (при возможности будет также приведен участок лога):

В процессе инсталляции плагин проходит через несколько фаз, которые отслеживаются сервером vCenter, также их можно получать через TaskManager API (его могут использовать и сторонние разработчики). Выполняемые задачи отображаются на сервере vCenter в 3 разделах:

• Панель Recent Tasks в нижней части клиента
• Консоль в разделе задач (Task Console)
• Просмотр представления Tasks для выбранного объекта vCenter Server

Задачи создаются и отслеживаются на сервере vCenter, к которому в данный момент подключен vSphere Client. Если же виртуальная среда работает в режиме федерации Enhanced Linked Mode, то задачи по развертыванию плагина создаются на всех подключенных серверах vCenter. Поэтому любой экземпляр vSphere Client будет видеть эти задачи.

Как происходит работа с плагинами

При логине пользователя в vSphere Client, все плагины vCenter загружаются в кэшированную папку самого клиента на сервере vCenter. Для отслеживания этого процесса создается задача "Download plug-in". Если загрузка плагина прошла успешно, то он становится доступным для развертывания, что видно в консоли задач. И это значит, что он был загружен в кэшированную папку.

Следующая фаза - это задача "Deploy plug-in", которая стартует следующей. Если она завершается успешно, это значит, что плагин установлен и доступен для использования со стороны vSphere Client. Кстати, если задача Download plug-in прошла с ошибкой, то и задача Deploy plug-in будет пропущена.

Ошибки плагинов при развертывании теперь детально описаны в консоли:

Также иногда к ошибке прилагается лог развертывания, например, в случае, когда их вызвало стороннее программное обеспечение, отдающее некоторый лог ошибки.

В случае апгрейда плагина этот процесс представляется набором из трех задач: "Download plug-in", "Undeploy plug-in" и "Deploy plug-in". После этого в vSphere Client появляется глобальная нотификация о новой версии развернутого плагина и с просьбой сделать рефреш в браузере, чтобы плагин начал работать.

Один сервер vCenter может работать только с одной версией плагина, но в архитектурах Enhanced Linked Mode и Hybrid Linked Mode может быть несколько серверов vCenter, каждый из которых может содержать свою версию плагина.

В этом случае vSphere Client обрабатывает плагины двумя способами:

• Local plug-in architecture - в этом случае оперирование происходит с самой новой версией плагина, обнаруженной на всех доступных серверах vCenter. При этом все остальные версии плагина игнорируются. Если обнаруживается более новая версия плагина на одном из серверов vCenter - происходит ее апгрейд.
• Remote plug-in architecture - она появилась в vSphere 6.7 Update 1. В этом случае происходит поддержка своей версии плагина на уровне того сервера vCenter, с которым происходит оперирование со стороны vSphere Client. Такое поведение используется, например, в среде Hybrid Linked Mode, где версии плагинов и серверов vCenter могут отличаться очень значительно. В этом случае все версии плагина скачиваются с соответствующих экземпляров vCenter и работа со стороны vSphere Client происходит с каждой версией как с независимым плагином.

Ну и напоследок приведем статусы, которые могут возникать при развертывании и апгрейде плагинов:

In progress

Плагин находится в стадии развертывания.

Deployed

Плагин установлен и доступен для использования через интерфейс vSphere Client.

Failed

Показывается при невозможности скачать или установить плагин:

• Download error
  • Установка из незащищенного места - используется http вместо https.
  • Невозможно получить URL плагина.
  • vSphere Client не авторизован для скачивания плагина.
• Packaging error
  • Поврежден zip-пакет плагина.
  • Отсутствует файл манифеста.
  • Отсутствует папка plugins.
  • Отсутствуют необходимые бандлы в плагине.
• Deployment error
  • Ошибка связей (Dependency error) при развертывании плагина на vSphere Client.
  • Собственная ошибка плагина (Runtime plug-in error).

Показывается когда плагин не поддерживается для данной версии vSphere Client. Возможные причины:

• Плагин добавлен в черный список администратором.
• В плагине прописано, что он поддерживает только конкретные версии vSphere Client (и вашей в списке нет).
• Это плагин на базе флэш-интерфейса под старый клиент vSphere Web Client.

Не так давно мы писали об обновлении платформы VMware Cloud Foundation 3.7, которая представляет собой набор продуктов для развертывания, исполнения, мониторинга и поддержки виртуальной инфраструктуры в онпремизном датацентре.

Архитектура VCF включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия, которые желательно развертывать все вместе, но можно какие-то и опустить. Все это находится под управлением решения VMware SDDC Manager.

На днях был анонсирован еще один пакет решений - VMware Cloud Foundation Platinum. Смысл этой платформы - повышенная защищенность частных облаков, обеспечиваемая платформой виртуализации vSphere Platinum, где инфраструктура находится под наблюдением средства анализа и активной защиты - продукта AppDefense.

Он является ядром всей платформы с точки зрения безопасности и предоставляет множество возможностей, обеспечивающих защиту виртуальной инфраструктуры на различных уровнях:

Давайте посмотрим на ключевые моменты этой архитектуры:

1. Обеспечение умного подхода к безопасности.

По аналогии с vSphere Platinum и vCloud Suite Platinum, издание Platinum для VMware Cloud Foundation интегрирует решение AppDefense напрямую в гипервизор vSphere для защиты как самой платформы, так и рабочих нагрузок в виртуальных машинах. Фишка AppDefense - алгоритмы машинного обучения, которые позволяют обучиться нормальному сетевому поведению компонентов виртуального датацентра, а потом сигнализировать об отклонениях от этой модели и предпринимать некоторые шаги по активной защите инфраструктуры.

Действие AppDefense распространяется на vSphere, NSX и vSAN, что позволяет защитить все рабочие нагрузки, входящие в структуру Cloud Foundation.

2. Работа на различных уровнях в датацентре.

AppDefense не только смотрит на виртуальные машины извне, но и анализирует поведение приложений изнутри гостевых ОС, где их поведение полностью находится под наблюдением ML-алгоритмов. В этом процессе данные собираются от среды управления vCenter, а также различных средств разработки и фреймворков для управления виртуальной средой.

3. Многоуровневая защита.

AppDefense в рамках Cloud Foundation Platinum обеспечивает активную защиту на следующих уровнях:

• Compute - анализ поведения ВМ на вычислительном уровне, в том числе тех, кто имеет включенные функции шифрования (VM encryption), как при хранении, так и при перемещении машин между хранилищами.
• Network - решение NSX в виртуальном датацентре использует подход микросегментации и гранулярной безопасности, что полностью поддерживается рабочим процессом AppDefense (возможность перемещения политик безопасности вместе с ВМ, вне зависимости от топологии сети).
• Storage - поддержка шифрования vSAN (data-at-rest encryption) на уровне кластера, а также инфраструктуры KMIP (поддерживаются такие продукты, как CloudLink, Hytrust, SafeNet, Thales и Vormetric).
• Management - vCloud Suite автоматизирует рутинные операции (включая по обеспечению безопасности и мониторингу среды в реальном времени), исключая вероятность возникновения ошибок и уязвимостей по причине человеческого фактора.

Cloud Foundation Platinum - это законченное решение для гибридных виртуальных сред (частное+публичное облако под управлением одного пакета решений), где поведение всех приложений находится под наблюдением AppDefense в рамках комплексного рабочего процесса по обеспечению безопасности. Каждая из задач может выполняться пользователем с соответствующей ролью в виртуальном датацентре:

Более подробно о VMware Cloud Foundation Platinum можно узнать по этой ссылке.

На днях компания VMware выпустила третий пакет обновления для предыдущего поколения своей главной платформы виртуализации - VMware vSphere 6.5 Update 3. Напомним, что Update 2 вышел в мае прошлого года, так что давно было уже пора выпускать апдейт, так как версия 6.5 по-прежнему широко используется, особенно в крупных предприятиях.

Давайте посмотрим, что нового в vSphere 6.5 U3.

Новые функции vCenter 6.5 Update 3:

• События о добавлении, удалении и модификации пользовательских ролей содержат информацию о пользователе, который производит изменения.
• Улучшения возможностей аудита в компоненте VMware vCenter Single Sign-On - теперь появились события для следующих операций: управление пользователями, логин, создание групп, изменение источника идентификации, управление политиками. Доступна эта фича только для виртуального модуля vCSA с интегрированным Platform Services Controller. Поддерживаемые источники идентификации: vsphere.local, Integrated Windows Authentication (IWA) и Active Directory over LDAP.
• Поддержка новых внешних баз данных - добавлена поддержка Microsoft SQL Server 2014 SP3.
• Обновления ОС Photon для vCSA.

Release Notes для vCenter 6.5 U3 находятся здесь.

Новые функции ESXi 6.5 Update 3:

• Драйвер ixgben добавляет функцию queue pairing для оптимизации эффективности CPU.
• С помощью ESXi 6.5 Update 3 вы можете отслеживать использование лицензий и обновлять топологию коммутаторов. Также улучшения можно увидеть в Developer Center клиента vSphere Client.
• Поддержка устаревших серверов AMD Zen 2.
• Множество обновлений драйверов устройств: lsi-msgpt2, lsi-msgpt35, lsi-mr3, lpfc/brcmfcoe, qlnativefc, smartpqi, nvme, nenic, ixgben, i40en и bnxtnet.
• Поддержка Windows Server Failover Clustering и Windows Server 2019.
• Добавлено свойство com.vmware.etherswitch.ipfixbehavior в распределенные виртуальные коммутаторы, чтобы позволить пользователям выбирать способ трекинга входящего и исходящего трафика. Значение 1 включает сэмплирование для входящего и исходящего трафика, значение 0 включает его только для исходящего (значение по умолчанию).

Release Notes для ESXi 6.5 U3 находятся здесь.

Если вы ожидали среди возможностей чего-то действительно нового - увы, этого не бывает. VMware надо развивать ветку vSphere 6.7 и следующие версии платформы. Скачать VMware vSphere 6.5 Update 3 можно по этой ссылке.

Какие еще продукты VMware были обновлены параллельно с этим релизом:

• vSphere Replication 6.5.1.4 - просто обновление с исправлением ошибок.
• App Volumes 2.17 - поддержка Windows 10 1903, коммуникация с SQL Server по протоколу TLS 1.2. Остальное - здесь.
• User Environment Manager 9.8.0 - это большое обновление, подробнее о нем вот тут.

Многие администраторы платформы VMware vSphere очень часто интересуются вопросом замены сертификатов для серверов ESXi в целях обеспечения безопасности. Как правило, это просто инструкции, которые не дают понимания - а зачем именно нужно менять эти сертификаты.

Недавно VMware выпустила интересную статью на тему сертификатов в vSphere и других продуктах, приведем ниже основные выдержки из нее.

1. Сертификаты - это вопрос доверия и шифрования.

При соединении с различными веб-консолями компонентов инфраструктуры VMware vSphere используется протокол HTTPS, где S означает "Secure". Инфраструктура SSL, а точнее ее последователь Transport Layer Security (TLS), использует известный в криптографии принцип открытого и закрытого ключей, который позволяет узлам, доверяющим друг другу безопасно обмениться информацией по шифрованному каналу.

TLS развивается по следующему пути:

• Версия 1.0 имеет уязвимости, он небезопасен и больше не должен использоваться.
• Версия 1.1 не имеет таких уязвимостей, как 1.0, но использует такие алгоритмы шифрования, как MD5 и SHA-1, которые больше не считаются безопасными.
• Версия 1.2 добавляет шифрование AES, которое работает быстро и не использует небезопасные методы, сам же алгоритм использует SHA-256. На текущий момент это стандарт TLS.
• Версия 1.3 не содержит слабых точек и добавляет возможности увеличения скорости соединения, этот стандарт скоро будет использоваться.

Если вы используете сертификаты vSphere, то независимо от того, какие они (самоподписанные или выданные центром сертификации) - общение между компонентами виртуальной инфраструктуры будет вестись посредством TLS с надежным шифрованием. Вопрос сертификатов тут - это всего лишь вопрос доверия: какому объекту, выпустившему сертификат, вы доверяете - это и есть Центр сертификации (он же Certificate Authority, CA).

Многие крупные компании, имеющие определенный вес (например, Microsoft) сами являются Центрами сертификации, а некоторые компании используют службы Microsoft Active Directory Certificate Services, чтобы встроить собственные CA в операционную систему и браузеры (импортируют корневые сертификаты), чтобы "научить" их доверять этим CA.

2. В VMware vSphere сертификаты используются повсеместно.

Как правило, они используются для трех целей:

• Сертификаты серверов ESXi, которые выпускаются для управляющих интерфейсов на всех хост-серверах.
• "Машинные" сертификаты SSL для защиты консолей, с которыми работает человек - веб-консоль vSphere Client, страница логина SSO или Platform Service Controllers (PSCs).
• "Solution"-сертификаты, используемые для защиты коммуникаций со сторонними к платформе vSphere продуктам, таким как vRealize Operations Manager, vSphere Replication и другим.

Полный список компонентов, где vSphere использует сертификаты, приведен вот тут.

3. vSphere имеет собственный Центр сертификации.

Платформа vSphere из коробки поставляется с собственным CA, который используется для коммуникации между компонентами. Называется он VMware Certificate Authority (VMCA) и полностью поддерживается для vSphere как с внешним PSC, так и для vCenter Server Appliance (vCSA) со встроенным PSC.

Как только вы добавляете хост ESXi в окружение vCenter, то VMCA, работающий на уровне vCenter, выпускает новый сертификат на этот ESXi и добавляет его в хранилище сертификатов. Такая же штука происходит, когда вы настраиваете интеграцию, например, с решениями vRealize Operations Manager или VMware AppDefense.

Надо понимать, что CA от VMware - это всего лишь решение для защищенной коммуникации между серверами, которое поставляется из коробки. Ваше право - доверять этой модели или нет.

4. Есть 4 способа внедрить инфраструктуру сертификатов на платформе vSphere.

Вот они:

• Использовать самоподписанные сертификаты VMCA. Вы можете просто скачать корневые сертификаты с веб-консоли vCenter, импортировать их в операционную систему клиентских машин. В этом случае при доступе к веб-консоли, например, vSphere Client у вас будет отображаться зеленый замочек.
• VMCA можно сделать подчиненным или промежуточным (subordinate/ intermediate) центром сертификации, поставив его посередине между CA и конечными хостами, что даст дополнительный уровень сложности и повысит вероятность ошибки в настройке. VMware не рекомендует так делать.
• Отключить VMCA и использовать собственные сертификаты для любых коммуникаций. Ваш ответственный за сертификаты должен нагенерировать запросы Certificate Signing Requests (CSR) для всех компонентов. Эти CSR-запросы вы отсылаете с CA, которому вы доверяете, получаете их подписанными, после чего устанавливаете их в ручном режиме. Это отнимает время и чревато ошибками. 
• Использовать гибридный подход - для хостов ESXi в их коммуникации с vCenter использовать самоподписанные VMCA сертификаты, а для веб-консолей vSphere Client и прочих использовать перевыпущенные сертификаты, которые надо установить на сервере vCenter и хостах, с которых будет управляться инфраструктура через браузер (тогда в нем появится зеленый замочек). Это самый рекомендуемый VMware вариант использования сертификатов.

5. Enterprise-сертификаты - тоже самоподписанные.

Подумайте - самоподписанными являются не только сертификаты VMCA, но и ваши корпоративные сертификаты. Если вы выпускаете эти сертификаты только на уровне своей компании, то у вас 2 точки потенциального недоверия - сторона, выпустившая сертификаты у вас в компании, а также, собственно, сам VMCA. Такая схема создает дополнительный уровень сложности администрирования, а также нарушения безопасности.

6. Не создавайте промежуточный Центр сертификации.

Если вы создаете intermediate CA (он же subordinate CA) для VMCA, превращая его в посредника, вы создаете потенциальную опасность для виртуальной инфраструктуры - если кто-то получает доступ к корпоративному центру сертификации и его парам ключей, то он может навыпускать любых сертификатов от имени VMCA и перехватывать потом любые коммуникации.

7. Можно изменять информацию для самоподписанных сертификатов CA.

С помощью утилиты  Certificate Manager utility вы можете сгенерировать новый VMCA с необходимой информацией о вашей организации внутри него. Эта утилита перевыпустит все сертификаты и заменит их на всех хостах виртуальной инфраструктуры. Это хорошая опция для гибридной модели. Кстати, вы можете менять даты устаревания сертификатов, если дефолтные вас не устраивают.

8. Тестируйте инфраструктуру сертификатов перед внедрением.

Вы можете развернуть виртуальную инфраструктуру и провести все эксперименты с сертификатами в виртуальной среде, где вы можете использовать виртуальные (nested) серверы ESXi. Приятная штука в том, что вы можете создавать снапшоты виртуальных машин, а значит в случае чего - быстро откатитесь на рабочий вариант. Еще одна среда для экспериментов - это облачная инфраструктура VMware Hands-on Labs, где можно безопасно ставить любые эксперименты.

Попробуйте также новую vSphere 6.7 Lightning Lab.

9. Делайте бэкапы своей инфраструктуры.

Делайте резервную копию вашего vCenter и PSC на уровне файлов через веб-консоль VAMI. Также утилитой Certificate Manager можно скопировать старый набор сертификатов перед развертыванием новых (но только один набор сертификатов, учитывайте это). Также эта процедура полностью поддерживается со стороны VMware Global Support Services.

10. Понимайте, зачем вы заморачиваетесь с заменой сертификатов.

Ответьте для себя на несколько вопросов:

• Стоит ли иконка зеленого замочка в браузере всех этих заморочек?
• Нужно ли всем видеть этот замочек или только команде администрирования vSphere?
• Почему вы доверяете vCenter для управления всем в виртуальной инфраструктуре, но не доверяете VMCA?
• В чем отличие самоподисанного сертификата вашего предприятия от самоподписанного сертификата VMCA?
• Действительно ли комплаенс требует от вас кастомных CA-сертификатов?
• Какова будет цена процедур по замене сертификатов в инфраструктуре vSphere во времени и деньгах?
• Увеличивает или уменьшает риск итоговое решение и почему конкретно?

Дополнительные ресурсы

• Живое кликабельное демо (feature walkthrough) о пошаговой настройке гибридного режима работы с сертификатами.
• Пост блога Adam Eckerle о гибридном режиме.
• Скачать корневые сертификаты VMCA root CA можно с главной страницы vCenter. В vSphere 6.7 ссылка расположена внизу справа.
• Wildcard-сертификаты не поддерживаются в среде vSphere.
• О сертификатах можно почитать в отличной документации по vSphere.
• Статьи Вильяма Лама о вложенных серверах ESXi.
• Статья о безотзывных сертификатах Active Directory Certificate Services.
• Как работает инфраструктура открытых ключей (пост EFF).
• При замене сертификатов подготовьте для тестирования несколько браузеров и научитесь быстро чистить в них кэш.
• Мы писали об утилите SDDC Certificate Tool, которая позволит вам просто заменить сертификаты во всем окружении vSphere.
• Архитектура VMware Cloud Foundation имеет средства по автоматизации управления жизненным циклом сертификатов.

Как знают почти все администраторы платформы VMware vSphere, для кластеров VMware HA/DRS есть такой режим работы, как Enhanced vMotion Compatibility (EVC). Нужен он для того, чтобы настроить презентацию инструкций процессора (CPU) хостами ESXi так, чтобы они в рамках кластера соответствовали одному базовому уровню (то есть все функции процессоров приводятся к минимальному уровню с набором инструкций, которые гарантированно есть на всех хостах).

Ввели режим EVC еще очень давно, чтобы поддерживать кластеры VMware vSphere, где стоят хосты с процессорами разных поколений. Эта ситуация случается довольно часто, так как клиенты VMware строят, например, кластер из 8 хостов, а потом докупают еще 4 через год-два. Понятно, что процессоры уже получаются другие, что дает mixed-окружение, где по-прежнему надо перемещать машины между хостами средствами vMotion. И если набор презентуемых инструкций CPU будет разный - двигать машины между хостами будет проблематично.

EVC маскирует инструкции CPU, которые есть не на всех хостах, от гостевых ОС виртуальных машин средствами интерфейса CPUID, который можно назвать "API для CPU". В статье VMware KB 1005764 можно почитать о том, как в кластере EVC происходит работа с базовыми уровнями CPU, а также о том, какие режимы для каких процессоров используются.

Надо отметить, что согласно опросам VMware, режим кластера EVC используют более 80% пользователей:

В VMware vSphere 6.7 появились механизмы Cross-Cloud Cold и Hot Migration, которые позволяют переносить нагрузки в онлайн и офлайн режиме между облаками и онпремизной инфраструктурой.

Когда это происходит, виртуальной машине приходится перемещаться между хостами с разными наборами инструкций процессора. Поэтому, в связи с распространением распределенных облачных инфраструктур, в vSphere появилась технология Per-VM EVC, которая позволяет подготовить виртуальную машину к миграции на совершенно другое оборудование.

По умолчанию, при перемещении машины между кластерами она теряет свою конфигурацию EVC, но в конфигурации ВМ можно настроить необходимый базовый уровень EVC, чтобы он был привязан к машине и переезжал вместе с ней между кластерами:

Обратите внимание, что Per-VM EVC доступна только, начиная с vSphere 6.7 и версии виртуального железа Hardware Version 14. Эта конфигурация сохраняется в vmx-файле (потому и переезжает вместе с машиной) и выглядит следующим образом:

featMask.vm.cpuid.Intel = “Val:1”
featMask.vm.cpuid.FAMILY = “Val:6”
featMask.vm.cpuid.MODEL = “Val:0x4f”
featMask.vm.cpuid.STEPPING = “Val:0”
featMask.vm.cpuid.NUMLEVELS = “Val:0xd”

Некоторые пользователи не включают EVC, так как покупают унифицированное оборудование, но VMware рекомендует включать EVC в кластерах со старта, так как, во-первых, никто не знает, какое оборудование будет докупаться в будущем, а, во-вторых, так будет легче обеспечивать миграцию виртуальных машин между облачными инфраструктурами.

Основная причина, по которой не включают EVC - это боязнь того, что поскольку машины не будут использовать весь набор инструкций CPU (особенно самых последних), то это даст снижение производительности. Поэтому VMware написала целый документ "Impact of Enhanced vMotion Compatibility on Application Performance", где пытается доказать, что это не сильно влияет на производительность. Вот, например, производительность Oracle на выставленных базовых уровнях для разных поколений процессоров (в документе есть еще много интересных графиков):

Чтобы включить EVC на базе виртуальной машины, нужно ее выключить, после чего настроить нужный базовый уровень. Для автоматизации этого процесса лучше использовать PowerCLI, а сама процедура отлично описана в статье "Configuring Per-VM EVC with PowerCLI".

Для того, чтобы выяснить, какие базовые уровни EVC выставлены для виртуальных машин в кластере, можно использовать следующий сценарий PowerCLI:

Get-VM | Select Name,HardwareVersion,
@{Name='VM_EVC_Mode';Expression={$_.ExtensionData.Runtime.MinRequiredEVCModeKey}},
@{Name='Cluster_Name';Expression={$_.VMHost.Parent}},
@{Name='Cluster_EVC_Mode';Expression={$_.VMHost.Parent.EVCMode}} | ft

Это даст примерно следующий результат (надо помнить, что отчет будет сгенерирован только для VM hardware version 14 и позднее):

В примере выше одна машина отличается от базового уровня хостов, но в данном случае это поддерживаемая конфигурация. Проблемы начинаются, когда машина использует более высокий базовый уровень CPU, чем его поддерживает хост ESXi. В этом случае при миграции vMotion пользователь получит ошибку:

Понять максимально поддерживаемый режим EVC на хосте можно с помощью команды:

Get-VMHost | Select-Object Name,ProcessorType,MaxEVCMode

В итоге вы получите примерно такой отчет:

В целом тут совет такой - включайте режим Enhanced vMotion Compatibility (EVC) в кластерах и для виртуальных машин VMware vSphere сейчас, чтобы не столкнуться с неожиданными проблемами в будущем.

Очень часто администраторы платформы VMware vSphere задаются следующими вопросами о версиях продукта vCenter: какая разница между обновлением vCenter (он же update) и патчем (patch)? в чем отличие апгрейда (upgrade) и миграции (migration)? почему некоторые версии vCenter нумеруются как-то отдельно? Попробуем дать ответы на эти вопросы ниже, используя материал вот этой статьи в блоге VMware.

Первое, что нужно понять - это нумерация версий vCenter. Она подразумевает 2 компонента - номер версии (например, vCenter 6.7 Update 2a) и номер билда (например, 13643870):

Номер версии имеет также и цифровое обозначение. Если вы зайдете в интерфейс VMware Appliance Management Interface (VAMI), то увидите там номер билда (13643870), а также полный номер версии (6.7.0.31000):

Если же вы зайдете в vSphere Client и перейдете там на вкладку Summary для вашего сервера vCenter (в данном случае vCenter Server Appliance, vCSA), то увидите там версию 6.7.0:

В данном случае в поле Build указан номер билда клиента vSphere Client (13639324), и не стоит его путать с номером билда самого vCenter. Все это как-то более-менее соотносится между собой (VAMI дает более полную информацию о цифровом номере версии).

Теперь, чтобы сложить все это в единую картину и соотнести с датой релиза конкретной версии vCenter, существует статья базы знаний KB 2143838, где есть полезная табличка:

Обратите внимание на последнюю колонку - Client/MOB/vpxd.log. Это версия клиента vSphere Client, и именно она появится в лог-файле vpxd.log, поэтому не стоит удивляться, что она отличается от номера билда vCenter.

Теперь перейдем к апдейтам и патчам. vCenter Server Update - это полноценное обновление платформы, которое может включать в себя новый функционал, исправления ошибок или доработки существующей функциональности. Выходит апдейт довольно редко и имеет свое строковое наименование (например, vCenter 6.7 Update 2a). Для апдейта всегда выпускается документ Release Notes, и его можно скачать через my.vmware.com.

Патч - это постоянно выпускаемое небольшое обновление для vCenter, которое поддерживает уровень безопасности, закрывает критические уязвимости, исправляет фатальные ошибки и т.п. Он может относиться к вспомогательным компонентам vCSA, например, Photon OS, базе данных Postgres DB или фреймворку Java.

Для патча нет выделенного документа Reelase Notes, но информация о нововведениях доступна в VMware vCenter Server Appliance Photon OS Security Patches. Патчи нельзя скачать через my.vmware.com, но они загружаются через VMware Patch Portal. Само собой, патчи включаются в апдейты, выпускаемые на какой-то момент времени. Патчи накатываются в рамках одного цифрового обновления. То есть 6.7 Update 1 не патчится напрямую на 6.7 Update 2b, сначала надо накатить апдейт 6.7 Update 2a, а затем уже пропатчиться на 6.7 Update 2b.

Также на VMware Patch Portal вы можете найти ISO-образы vCenter Server, но их не надо использовать для новых развертываний, они нужны только для восстановления вашего vCenter Server Appliance, если вы используете резервное копирование на уровне файлов.

Теперь перейдем к разнице между апгрейдом и миграцией. Апгрейд - это обновление мажорной версии сервера vCenter одного типа развертывания (например, вы делаете апгрейд vCenter Server Appliance 6.5 на vCenter Server Appliance 6.7). Миграция - это когда вы меняете тип развертывания vCenter, переходя, например, с Windows-платформы на Linux (к примеру, vCenter Server 6.5 for Windows мигрируете на vCenter Server Appliance 6.7).

Если вы обновляете vCSA 6.5 на 6.7, то апгрейд идет как бы ненастоящий - развертывается новый виртуальный модуль vCSA 6.7, и на него переезжают все настройки (FQDN, IP, сертификаты и UUID), а также содержимое базы данных vCSA 6.5.

Также надо упомянуть и back-in-time upgrade - это когда вы хотите обновить, например, vSphere 6.5 Update 2d на vSphere 6.7 Update 1. Прямое обновление тут не поддерживается, так как  Update 2d для версии 6.5 вышел позднее, чем Update 1 для версии 6.7. То есть Update 2d содержит код, которого нет в Update 1, а значит это может вызвать потенциальные конфликты.

Поэтому для каждой новой версии vCenter выпускается раздел Upgrade Notes for this Release, где можно найти информацию о возможности апгрейда:

У средства обновления хостов VMware vSphere Update Manager (VUM) есть полезный механизм проверок Pre-Check Remediation Report, который выполняет предварительную проверку условий для обновления хостов ESXi, чтобы этот процесс не прервался уже после его начала. Эти условия очень просты, но иногда позволяют сэкономить массу времени, особенно в большой инфраструктуре VMware vSphere.

Чтобы запустить эти проверки, надо выбрать нужный вам кластер и нажать кнопку Pre-Check Remediation:

После того, как вы запустите предпроверку Update Manager, вы получите отчет с предупреждениями о фактах, мешающих дальнейшим обновлениям:

Отчет Pre-Check Remediation Report для кластера может содержать следующие пункты:

Отчет Pre-Check Remediation Report для виртуальных машин может содержать следующее:

Компания VMware опубликовала уведомление VMSA-2019-0009 для пакета VMware Tools, который содержит уязвимость, позволяющую непривилегированному пользователю читать данные из гостевой ВМ, а также негативно влиять на ее гостевую ОС. Уязвимости подвержены версии VMware Tools ниже 10.3.10.

В качестве примера использования такой уязвимости можно привести Windows-машины, где включены службы Microsoft Remote Desktop Services. Также риску подвержены службы Microsoft SQL Server или IIS, использующие сервисные аккаунты.

Сначала надо вывести все ВМ, имеющие VMware Tools версии ниже 10.3.10 с помощью следующей команды PowerCLI:

Get-VM | Where-Object {$_.Guest.ToolsVersion -lt ‘10.3.10’} | Sort-Object Name | Format-Table

Вот такая команда выдаст все Windows-машины с VMware Tools ниже, чем 10.3.10:

Get-VM | Where-Object {$_.Guest.ToolsVersion -lt ‘10.3.10’ -and $_.Guest.GuestFamily -eq ‘windowsGuest’} | Sort-Object Name | Format-Table

Проверить версию VMware Tools можно и самостоятельно в VMware vSphere Client:

Помните, что VMware 6.7 Update 2a идет с версией VMware Tools 10.3.5. Надо отметить, что гостевые ОС Linux не подвержены уязвимости, поэтому не пугайтесь, что open-vm-tools имеют только версию 10.3.5.

Последнюю же версию пакета тулзов можно скачать по этой ссылке: https://www.vmware.com/go/tools.

Если вы хотите обновить VMware Tools через офлайн-бандл, то скачайте "VMware Tools Offline VIB Bundle", после чего можно использовать vSphere Update Manager (VUM) для развертывания установщиков пакета на хостах ESXi без простоя. После этого машины должны в течение 5 минут схватить новую версию тулзов (таков период обновления информации об актуальной версии пакета). Установленная версия VMware Tools также проверяется и при vMotion, а, кроме того, и при операциях с питанием ВМ (включение/выключение).

В большой инфраструктуре вы можете настроить централизованный репозиторий VMware Tools для использования в качестве источника для многих хостов ESXi.

Обновление VMware Tools можно инициировать через PowerCLI с помощью следующего командлета:

Get-VM | Where-Object {$_.ExtensionData.Guest.ToolsVersionStatus -eq "guestToolsNeedUpgrade" -and $_.PowerState -eq "PoweredOn"} | Get-VMGuest | Where-Object {$_.GuestFamily -eq "windowsGuest" } | Update-Tools -NoReboot -RunAsync

Помните, что при апгрейде VMware Tools вам может потребоваться перезагрузка виртуальных машин и их гостевых ОС. Также вы можете использовать приведенный выше сценарий для нескольких ВМ в одной папке:

Get-VM “TEST-VM-02” | Where-Object…
Get-Folder “Test VMs - Snapshotted" | Get-VM | Where-Object…

Через vSphere Client тулзы также прекрасно обновляются:

Если вы используете опцию "Automatic Upgrade", то машина будет обновлена автоматически (без взаимодействия с гостевой ОС) и, при необходимости, перезагрузится. Также вы можете использовать обновление тулзов без немедленной перезагрузки, применив инструкции, описанные в KB1018377. Надо помнить, что в этом случае до перезагрузки будет работать старая версия VMware Tools, а значит, что до перезагрузки машины уязвимость будет актуальна.

Еще одна опция - настроить обновления тулзов в настройках виртуальной машины:

Иногда администраторы гостевой системы имеют эксклюзивный доступ к ней (например, админы бизнес-критичных баз данных) и контролируют все происходящие в ней события. Для этого надо настроить их взаимодействие с машиной как указано в KB 2007298.

В этом случае они получат нотификацию о новой версии VMware Tools из трея, либо могут проверить наличие обновлений самостоятельно с помощью команд:

• VMwareToolboxCmd.exe –v - проверка установленной версии.
• VMwareToolboxCmd.exe upgrade status - возможность обновления для доступных апгрейдов.
• VMwareToolboxCmd.exe upgrade start - запуск процедуры апгрейда.

В этом случае запустится графический установщик, но не требующий вмешательства пользователя.